多样教师在线策略蒸馏用于生成式推荐
🧭 生成式推荐 · On-Policy Distillation 消偏 ★ 深度解读
University of Science and Technology of China · National University of Singapore · Alibaba Group
提出 HERO，通过异构教师路由和多样性物品 rollout 缓解生成式推荐中 on-policy distillation 的流行度偏差
📌 工作参考价值（4 点）
- 在生成式推荐做蒸馏时，不要用单一教师，可以按物品流行度分组训练两个专家教师（head/tail），训练样本根据 ground-truth item 的流行度路由到对应教师，能有效缓解头部偏差。
- 在 on-policy 训练中，学生生成的路径容易偏向头部物品，导致冷门 SID 路径很少被监督。可额外将冷门物品的真实 SID 前缀加入蒸馏损失（tail-path GT-KL），提高尾部路径的覆盖率。
- 该方法只更新学生模型，教师冻结，推理时仅用学生，不增加在线推理成本，工程实现简单，适合快速上线验证。
- 评估生成式推荐时不要只看整体 Hit，应同时关注 DTR（需求-曝光比）和 ORR（头部重复推荐占比），避免准确率提升掩盖流行度偏差的加剧。
稀疏先验正则化目标缓解序列推荐流行度偏差
🧭 流行度偏差缓解 · 稀疏概率训练目标 ★ 深度解读
Sber AI Lab · Lomonosov Moscow State University (MSU) · HSE University
把流行度先验注入 entmax 变分目标，让稀疏支持集由上下文与流行度共同决定，仅改 loss 即可去偏
📌 工作参考价值（3 点）
- 可直接作为训练目标替换：在 SASRec/GRU4Rec 等序列召回中，把 softmax CE 换成 PR-entmax，只需在 logits 上加 γ log q 后过 entmax，损失用 Fenchel-Young；线上推理仍用原始 logits，避免改变线上打分分布。q 可用训练集 item frequency 估计，属于离线固定先验。
- 超参搜索经验：α 在 1.2–1.6 且 1.5 附近 robust；γ 控制 debias 强度。电商可先固定 α=1.5，单独扫 γ，用 NDCG-Coverage/Novelty Pareto 前沿选点，而不是只看单点；同时用 Lorenz-style 曝光曲线观察头部集中度。
- 大 catalog 落地注意：entmax 需要迭代求阈值 τ，训练比 CE 慢约 20%，但无额外显存；若 item 量极大，可先在 sampled softmax 基础上做稀疏化或在小流量验证。该方法无架构改动，适合作为现有 pipeline 的轻量去偏插件。
越流行越难遗忘：LLM 遗忘的自适应流行度策略
🧭 LLM 遗忘训练 · 流行度自适应
AIRI · Sber AI Lab · Skoltech · ISP RAS Research Center for Trusted Artificial Intelligence
AdaPop 按事实流行度自适应调整遗忘梯度，并用双上升控制器自动平衡遗忘/保留，显著降低遗忘内容泄露
📌 工作参考价值（4 点）
- 把「流行度」引入遗忘/更新训练：电商场景中需要让 LLM 遗忘下架商品、过期活动或用户隐私数据时，不要对所有遗忘样本用统一梯度。可以用商品销量、点击量、评论数、搜索热度等作为流行度代理，让热门实体获得更强的遗忘压力，冷门实体减小遗忘力度，避免过度擦除长尾信息。
- 用外部代理估算知识流行度：如果内部训练数据频率不可得，可以借鉴 AdaPop 使用 Wikidata sitelinks 或 LLM-as-Judge 的思路，在业务中用知识图谱连接数、商品关联关系数、LLM 对事实重要性的打分作为替代，计算 per-example 的 exponent，指导梯度缩放。
- 自动调节 retain penalty 的 dual-ascent 控制器：线上持续学习或定期遗忘时，手动设置遗忘/保留损失权重很脆弱。可参考每 epoch 根据保留集表现自动调整保留惩罚，减少对超参搜索的依赖，在删除目标知识的同时维持推荐/问答质量。
- 用隐藏状态距离做内部监控：除了最终行为指标，可以跟踪遗忘集和保留集的隐藏状态相对未更新模型的距离，作为遗忘充分性与保留完整性的 early signal，便于训练中及早发现遗忘不足或过度遗忘。
扩大Transformer推荐模型规模时流行度偏差的放大陷阱及其缓解
🧭 序列推荐 · 流行度偏差与谱正则化 ★ 深度解读
Zhejiang University · University of Science and Technology of China
揭示Transformer序列推荐深度缩放导致谱坍缩放大流行度偏差，提出层级谱正则化方法SPRINT实现准确性与公平的双赢。
📌 工作参考价值（4 点）
- 在电商/广告推荐中扩大Transformer深度时，需警惕流行度偏差同步放大，导致长尾物品曝光下降；SPRINT 的注意力和前馈正则化可直接嵌入现有架构，以极小计算成本（~3%训练时间）控制谱范数。
- 具体实现：对自注意力矩阵的列和施加logsumexp平滑上界，防止少数热门物品垄断注意力权重；对前馈权重用幂迭代估计谱范数并正则化，抑制深度网络中的低秩坍缩。
- 两个正则项联合可使模型在扩大规模时保持准确率和公平性的帕累托前沿，例如在SASRec++上NDCG@5提升15.7%，Fair-0.8提升7.12%，适合大规模排序系统。
- 方法对Transformer模块通用，已验证可迁移至生成式推荐（TIGER、LETTER），实现长尾曝光提升，为工业级模型扩展提供了偏差控制方案。
当推荐去噪遇上流行度偏差：理解与缓解其交互
🧭 去噪推荐 · 流行度偏差 ★ 深度解读
Australian Artificial Intelligence Institute, University of Technology Sydney
损失去噪可能抑制长尾信号，提出流行度感知门控PAD，在多个基准上取得更优准确-多样性权衡。
📌 工作参考价值（4 点）
- 在工业协同过滤中，若使用损失重加权去噪（如 RCE），可叠加流行度门控：对高曝光商品保持强去噪，对长尾商品减弱去噪，避免误删稀疏但真实的交互信号，公式简单、非侵入式。
- 评估去噪方法时，除 Recall/NDCG 外应关注 Coverage、Gini 等多样性指标，以发现去噪对头部偏差的放大效应。
- GMF/NeuMF 等 MF 类模型上 PAD 增益显著；LightGCN 等图模型可能通过邻居传播隐式平滑噪声，此时直接 ERM 可能已足够强，去噪需谨慎引入。
- PAD 的超参 α（去噪强度）和 η（流行度补偿强度）解耦良好：增大 η 可恢复长尾覆盖，对准确率影响不大，便于业务中灵活调整准确-多样性权衡。
模态感知身份构建与反事实结构学习实现无ID多模态推荐
🧭 生成式推荐 · ID-Free 多模态 · 反事实学习 ★ 深度解读
Hubei University · Wuhan University
通过动态模态感知位置编码和反事实图结构学习，大幅提升无ID多模态推荐的语义表达和长尾覆盖
📌 工作参考价值（4 点）
- 模态感知位置编码（MAIC）：用文本和视觉语义生成门控，动态调制位置编码，使ID-free表征具备内容感知性。可直接用于生成式推荐的身份构建，用商品图文特征调整区分信号，增强冷启动物品泛化。
- 反事实图增强（CSL）：通过流行度惩罚选取低曝光但语义相似的邻居，构建反事实图，缓解流行偏差。适合电商长尾商品发现，可嵌入现有GNN推荐管线，改善推荐多样性和公平性。
- 自监督结构对比：跨层对齐和去耦判别损失稳定低曝光语义结构在多层传播中的保留。该trick可迁移到任何图学习推荐模型，增强结构鲁棒性。
- 多模态融合权重调优：不同品类（如服装vs宠物）文本/视觉门控融合比例需单独优化，提示工程落地时宜按业务场景自适应调整多模态贡献。
滤泡回声：生成式推荐流行度偏差的诊断与治愈
🧭 生成式推荐·流行度偏差诊断与纠偏 ★ 深度解读
Hong Kong Polytechnic University · Central South University · National Super Computing Center Tianjin · City University of Macau · Griffith University
诊断出梯度饥饿与无差别令牌化导致生成式推荐严重流行偏差，并通过骨架令牌化和非对称不似然优化进行纠偏。
📌 工作参考价值（4 点）
- 生成式推荐长尾物品曝光优化：借鉴 SKT，为尾部物品分配额外专用 SID 令牌，继承头部物品前缀但增加区分性，可抑制头部令牌在生成过程中的几何级压制，提升长尾覆盖率。
- 训练技巧迁移：引入 AUO 构建“不期望集合”——基于文本语义相似但 SID 前缀差异大的头部物品，并对生成这些令牌的概率进行额外惩罚，可校正尾部令牌的梯度饥饿，无需重新采样数据。
- 快速诊断方法：通过分析梯度更新符号和 SID 分支点数量，可以快速定位生成式推荐中哪些物品令牌遭遇梯度饥饿，辅助业务系统发现偏差根源。
- 公平性与整体性能的帕累托平衡：在 AUO 权重 α 和不期望集合大小上做精细调参，可在不显著损害整体指标（如 HR 仅降 ~7%）的前提下，大幅提升尾部性能与公平性，这为电商平台实现多目标优化提供了可落地的调节手段。